Hallo Elch,
viele würden vermutlich denken, dass Du übertreibst und Dich eigentlich freuen solltest, dass Dich Deine attraktive Chefin bevorzugt behandelt, aber ich kann es sehr gut nachvollziehen, dass es für Dich belastend ist, wenn die anderen Kollegen das mitbekommen. Das kann das Verhältnis zu den Kollegen bestimmt sehr belasten und ist für Dich unangenehm.
Du solltest Deiner Chefin über längere Zeit klar machen, dass Du kein Interesse an Ihr hast. ICh denke, dass sie sich nicht verletzt fühlen wird und Dir irgendwelche Konsequenzen drohen, wenn Du es Ihr schonend und nicht direkt zu verstehen gibst.
Andererseits ist es heutzutage meines Erachtens fast schon ganz normal, dass auf Arbeit ein wenig geflörtet wird. Da kann man ruhig mitspielen, zumindest wenn es sich um eine Kollegin bzw. Kollegen handelt. Keine Scheu davor, dass lenkt vom Arbeitsstress ab.